Debiased Inference for AI-Generated Data without Gold-Standard Labels: Identification via Multiple Imperfect Measurements
无黄金标准标签下 AI 生成数据的去偏推断：基于多重不完美测量的识别
🧭 多不完美标注去偏推断 ★ 深度解读
Massachusetts Institute of Technology
提出 DMM 框架，在无 gold-standard 标签时用多个不完美 AI 标注构建去偏桥函数，实现有效下游统计推断
📌 工作参考价值（4 点）
- 不要把 LLM 标注直接当真实标签做下游回归/指标计算，即使准确率 >90% 也会产生显著偏差；当没有 gold labels 时，可以用至少 3 个不同 LLM/prompt/temperature 输出作为 proxy，基于条件独立性识别真实标签分布并构造去偏矩估计。电商场景可迁移到用户意图分类、商品属性抽取、评论情感打分、广告内容审核等任务。
- 条件变量 D 的设计是关键：把文本 embedding、任务难度特征（长度、模糊度、语言风格）、prompt 版本、模型家族等加入条件集，能缓解不同 LLM 之间由于共享偏差导致的条件独立违背；同时要做条件独立性诊断，而不是默认假设成立。
- 工程实现上，用 cross-fitting + EM 估计每个 proxy 的 class-specific error rate，桥函数采用 pair/triple 多项式组合（3H2 - 2H3）可消除一阶估计误差，使 nuisance 模型只需 n^{-1/4} 收敛速度，适合大规模 LLM 标注 pipeline。
- 监控 proxy 质量：新增一个标注器是否提升效率取决于其条件 bridge variance；如果某个模型准确率太差，可能增大估计方差，应加权或筛选后再加入 DMM。